МОДЕЛЬ РАСПРЕДЕЛЕННОЙ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ НА КЛАСТЕРЕ КОМПЬЮТЕРОВ С ОГРАНИЧЕННЫМИ ВЫЧИСЛИТЕЛЬНЫМИ РЕСУРСАМИ
Аннотация:
Предмет исследования. Выполнено исследование в области распределенного глубокого обучения — сверточной нейронной сети на кластере компьютеров с ограниченными вычислительными ресурсами. Рассмотрена общая архитектура и особенности сверточной нейронной сети, а также проанализированы существующие ограничения, которые возникают при их развертывании, основанные на таких архитектурах как LeNet, AlexNet, VGG-16/ VGG-19. Развертывание распределенной сверточной нейронной сети на устройствах с ограниченными вычис- лительными ресурсами все еще является одной из трудоемких задач, где не имеется готовых решений. Метод. Предложен метод разделения карт признаков сверточной нейронной сети на блоки, где каждый блок соответствует определенной задаче. Представлена общая схема распределения задач для пересекающихся данных. Основные результаты. Разработана модель распределенной сверточной нейронной сети для кластера компьютеров с ограниченными вычислительными ресурсами, а также модель планировщика задач для пересекающихся данных при выполнении вычислений преимущественно на сверточном слое, так как данный слой является одним из самых ресурсоемких, содержащих большое количество гиперпараметров. Практическая значимость. Разработка распределенной системы на базе предложенных методов позволит развернуть распределенное машинное обучение, в частности, сверточную нейронную сеть на кластере из 24 одноплатных компьютеров RockPro64, где возможно выполнение различных задач в области машинного зрения, обработки естественного языка, прогнозирования и др., что может быть использовано в граничных вычислениях (edge computing).
Ключевые слова:
Постоянный URL
Статьи в номере
- АНАЛИЗ ТЕХНОЛОГИЧНОСТИ ЛИНЗОВОЙ СИСТЕМЫ НА ЭТАПЕ ОПТИЧЕСКОГО ПРОЕКТИРОВАНИЯ(на англ. яз.)
- ИССЛЕДОВАНИЕ ВЛИЯНИЯ ПАРАМЕТРОВ ЛАЗЕРНОЙ ОБРАБОТКИ НА СПЕКТРАЛЬНЫЕ ХАРАКТЕРИСТИКИ СЕРЕБРОСОДЕРЖАЩИХ ПЛЕНОКДИОКСИДА ТИТАНА
- ПРОЕКТИРОВАНИЕ ОПТИЧЕСКОГО МОДУЛЯ ОЧКОВ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
- МЕТОДИКА И ЧАСТНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ КАЧЕСТВА ПОИСКА КЛЮЧЕВЫХ ТОЧЕК ПО МАТЕРИАЛАМ ОПТИКО-ЭЛЕКТРОННОЙ АЭРОСЪЕМКИ
- ИССЛЕДОВАНИЕ ШЕРОХОВАТОСТИ БУМАГИ ИЗ ВТОРИЧНОГО СЫРЬЯ МЕТОДОМ АТОМНО-СИЛОВОЙ МИКРОСКОПИИ
- МЕТОД ВЫБОРА ГИПЕРПАРАМЕТРОВ В ЗАДАЧАХ МАШИННОГО ОБУЧЕНИЯ ДЛЯ КЛАССИФИКАЦИИ СТОХАСТИЧЕСКИХ ОБЪЕКТОВ
- СИНТЕЗ ИЕРАРХИЧЕСКОЙ ДИАГНОСТИЧЕСКОЙ МОДЕЛИ ПОТОКОВОЙ ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ РЕАЛЬНОГО ВРЕМЕНИ
- СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ УСТРАНЕНИЯ ДИСБАЛАНСА КЛАССОВ ЭМОЦИЙ В ВИДЕОДАННЫХ ВЫРАЖЕНИЙ ЛИЦ
- АНАЛИЗ РАБОТЫ ПРОТОКОЛА CSMA/CA В СРЕДЕ OMNET++ С ИСПОЛЬЗОВАНИЕМ INET FRAMEWORK
- ПРИМЕНЕНИЕ МЕТОДА УРОВНЕЙ ПРИСПОСОБЛЕННОСТИ ДЛЯ АНАЛИЗА ДИНАМИКИ РАБОТЫ ЭВОЛЮЦИОННЫХ АЛГОРИТМОВ
- МЕТОД ОПРЕДЕЛЕНИЯ УПАКОВАННЫХ И ЗАШИФРОВАННЫХ ДАННЫХ ВО ВСТРОЕННОМ ПРОГРАММНОМ ОБЕСПЕЧЕНИИ
- МЕТОД ПОИСКА КЛОНОВ В ПРОГРАММНОМ КОДЕ
- КОНФИГУРИРУЕМЫЕ IOT-УСТРОЙСТВА НА ОСНОВЕ SOC-СИСТЕМ ESP8266 И ПРОТОКОЛА MQTT
- ПОМЕХОЗАЩИЩЕННОСТЬ БЕСПРОВОДНЫХ ПЕРСОНАЛЬНЫХ СЕТЕЙ В УСЛОВИЯХ ЦИФРОВОГО ПРОИЗВОДСТВА
- ИССЛЕДОВАНИЕ ИСКАЖЕНИЙ ИСХОДНОГО ЦИФРОВОГО ОТПЕЧАТКА РЕАЛИЗАЦИЙ КЛИЕНТСКОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ В ПРОЦЕССЕ ЕГО ПЕРЕДАЧИ
- ПРИМЕНЕНИЕ МЕТОДА K-СРЕДНИХ В ЗАДАЧЕ ОЦЕНКИ ХАРАКТЕРИСТИК ПРОЦЕССА ДЛЯ ВЕБ-ПРИЛОЖЕНИЙ
- МОДЕЛЬ КОНСТРУКЦИИ МУЛЬТИСТРОЧНОГО ДИСПЛЕЯ БРАЙЛЯ
- ПРИМЕНЕНИЕ ЛАЗЕРНОГО ИЗЛУЧЕНИЯ ДЛЯ СТИМУЛЯЦИИ РОСТА РАСТЕНИЙ
- ВЫЯВЛЕНИЕ РИСКОВ НАРУШЕНИЙ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ КИБЕРФИЗИЧЕСКИХ СИСТЕМ НА ОСНОВЕ АНАЛИЗА ЦИФРОВЫХ СИГНАЛОВ